Прошлой весной компания VMware выпустила релиз своего основного документа по обеспечению безопасности виртуальной среды Security Configuration Guide для vSphere 6.5. Напомним, что ранее подобный документ назывался Hardening Guide и был основным руководством для сотрудников отделов ИТ-безопасности по настройке гипервизора ESXi и виртуальных машин.

На днях VMware выпустила финальную версию документа vSphere 6.5 Update 1 Security Configuration Guide, в котором приведены основные конфигурации для обеспечения безопасности уже Update 1, то есть последнего на данный момент мажорного обновления платформы vSphere.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
• Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Надо отметить, что от релиза к релизу Security Configuration Guide становится все меньше, так как VMware продвигает идеологию, что платформа становится защищеннее из коробки (Secure By Default). На данный момент осталось всего 68 конфигураций для всей виртуальной среды.

При работе с гайдлайнами инженеры VMware каждый раз проверяют актуальность тех или иных настроек, изменяют их или удаляют. Кстати, удаляют они их вот по каким причинам:

• Код vSphere постоянно ревьювится, и некоторые введенные улучшения делают так, что какой-то из описанных гайдлайнов больше не является вектором угрозы. Пример - настройка "disable-intervm-vmci". Сам по себе этот механизм был удален из состава vSphere, а значит ушла и рекомендация по этой настройке.
• Также некоторые гайдлайны ранее были невыполнимыми (например, verify-kernel-modules) - многие пытались писать свои скрипты для верификации каждого модуля VMkernel при загрузке, пока VMware не сделала цифровые подписи VIB-модулей, за счет которых распространяются компоненты vSphere, и механизм Secure Boot.
• Некоторые гайдлайны были написаны для фичей, которые некорректно понимались с точки зрения безопасности. Например, считалось, что настройка VM.disable-hgfs актуальна для vSphere, но оказалось, что она применяется только для Workstation и Fusion и никакой угрозы не несет.

Также поменялись некоторые дефолтные значения для настроек безопасности, которые ранее по умолчанию вообще не имели значений. Например, настройки ниже имеют указанные явно значения TRUE, чтобы не вводить пользователя в заблуждение - типа, а как это работает по умолчанию?

Давайте посмотрим на статистику того, что изменилось в гайдлайнах, и как они теперь выглядят:

Скачать VMware vSphere 6.5 Update 1 Security Configuration Guide можно по этой ссылке.

Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

• VID (Vendor ID)
• DID (Device ID)
• SVID (Sub-Vendor ID)
• SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic

0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0

0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1

0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2

0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3

0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4

0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5

0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6

0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

• VID = 14e4
• DID = 1657
• SVID = 103c
• SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.

На днях компания VMware выпустила мажорное обновление своего основного интерфейса для управления виртуальной инфраструктурой с помощью скриптов - PowerCLI 10.0.0. О предварительных возможностях этого релиза мы уже писали вот тут.

Давайте посмотрим, что нового появилось в PowerCLI 10:

1. Настоящая (почти) мульти-платформенность.

Теперь PowerCLI доступен для систем Mac OS и Linux. Единственное требование - у вас должен быть развернут PowerShell Core 6.0.

Установка очень проста:

Install-Module -Name VMware.PowerCLI -Scope CurrentUser

На данный момент для Мака и Linux поддерживаются только следующие модули:

• VMware.VimAutomation.Common
• VMware.VimAutomation.Sdk
• VMware.VimAutomation.Core
• VMware.VimAutomation.Cis.Core
• VMware.VimAutomation.Vds
• VMware.VimAutomation.Storage
• VMware.VimAutomation.StorageUtility

Со временем эта поддержка будет расширена.

2. Изменения обработки сертификатов.

Теперь при соединении с сервером vCenter или ESXi через командлет Connect-VIServer с невалидным сертификатом (например, самоподписанным) PowerCLI выдаст уже не предупреждение, как в прошлых релизах, а ошибку. Чтобы изменить это поведение, вам потребуется использовать командлет Set-PowerCLIConfiguration:

Set-PowerCLIConfiguration -InvalidCertificateAction Ignore

Он принимает следующие значения:

• Fail
• Warn
• Ignore
• Prompt
• Unset

3. Устаревшие и исключенные командлеты.

Теперь в PowerCLI 10 пять командлетов модуля VMware.VimAutomation.Core были исключены:

• Get-VMGuestNetworkInterface
• Set-VMGuestNetworkInterface
• Get-VMGuestRoute
• New-VMGuestRoute
• Remove-VMGuestRoute

Они были заменены командлетом Invoke-VMScript. Вот пример использования этого командлета:

$ipAddr = "192.168.10.25"

$subMask = "255.255.255.0"

$gw = "192.168.10.1"

$netsh = "c:\windows\system32\netsh.exe interface ip set address ""Local Area Connection"" static $ipAddr $subMask $gw 1"

Invoke-VMScript -VM $VM -GuestCredential $creds -ScriptType bat -ScriptText $netsh

Также теперь не актуально свойство "Client", вместо этого предлагается использовать объект ServiceInstance.

Помимо этого в PowerCLI 10 было пофикшено несколько важных багов на базе фидбэка от сообщества разработчиков. Полный список изменений доступен в VMware PowerCLI Change Log. Более детальная информация об обновлении приведена в документах VMware PowerCLI 10.0.0 User’s Guide и VMware PowerCLI 10.0.0 Cmdlet Reference.

Напомним, что апдейт модулей PowerCLI теперь очень простой:

Update-Module VMware.PowerCLI

В блоге VCDX133 появился интересный и полезный список основных ключевых моментов в различных аспектах проектирования инфраструктуры VMware vSphere. Он будет полезен архитекторам и системным инженерам, которые планируют внедрение большой инфраструктуры виртуализации и хотят учесть все основные функции платформы, а также избежать проблем в будущем при масштабировании архитектуры.

Кстати, этот список можно использовать как высокоуровневый опросник перед началом фазы проектирования, чтобы выяснить ключевые потребности заказчика и далее превратить это все в техническое задание на базе полученных требований.

Приведем данный список ниже:

Бизнес-задачи и проблемы

• Какие основные задачи стоят при внедрении?
• Какие проблемы заказчика предполагается решить?

Варианты использования платформы

• Какие варианты использования инфраструктуры VMware предполагает сам заказчик?

Требования/Ограничения/Допущения

• Каковы основные требования, какие ограничения учесть, о какие допущениях и неочевидных моментах нужно проинформировать заказчика.

Риски

• Какие риски внедрения решения (например, простои при миграции) и каковы способы их минимизации? Есть ли специфические задачи, тесты и процедуры, которым нужно следовать в таком случае.

A. Управление виртуальным датацентром

Решения в области логической архитектуры

• Общий объем объединяемых в пул ресурсов (вычислительные мощности, сети и хранилища).
• Какие сервисы будет предоставлять инфраструктура.
• Необходимый уровень доступности для систем управления платформой виртуализации.
• Интеграция со сторонними решениями: IT Service Management, Infrastructure Management systems, Enterprise services (DNS, LDAP, NTP, PKI, Syslog, SNMP Traps), сбор данных агентами систем различных вендоров.
• Необходимы ли расширенные операции, не предоставляемые из коробки?
• Механизмы защиты рабочих нагрузок гипервизора (vMotion, HA и другое).
• Механизмы балансировки нагрузки на гипервизор (DRS).

Решения в области физической инфраструктуры

• Гипервизор: версии ESXi.
• Нужен ли отдельный кластер управления?
• Серверы vCenter в режиме Standalone или Linked-Mode?
• Версия vCenter Server и тип установки (под Windows или в виде виртуального модуля).
• База данных vCenter Server - встроенная или внешняя?
• Механизмы защиты vCenter Server.
• Дизайн инфраструктуры Platform Services Controller (PSC). Будет ли один домен SSO?
• Нужна ли инфраструктура шифрования (PKI)? Какие требования к SSL?
• Какие компоненты vSphere будут использоваться?
• Нужна ли функциональность Host profiles?
• Вопросы управления обновлениями ESXi, версиями VM Hardware и версиями VMware Tools.
• Интеграция с антивирусами и решениями vShield/NSX.
• Нужен ли пакет vRealize Suite для расширенных операций и управления частным облаком?
• Нужен ли продукт vRealize Orchestrator для управления рабочими процессами операций? Нужен ли PowerCLI для сценариев автоматизации?
• Нужно ли интегрировать виртуальную инфраструктуру с другими средствами управления (Enterprise Management)?
• Automated vendor support mechanisms? How will VMware Skyline be used?
• Нужно ли организовывать интеграцию с системами Service Desk или Change Management?
• Каковы требования к механизмам vSphere HA и vSphere DRS?
• Если будет использоваться HCI (Hyper-Converged Infrastructure), то какие решения будут использоваться для управления, и как это будет совместимо с vSphere?
• Вопросы интеграции со службами DNS и NTP.
• Ролевая модель доступа (Role Based Access Control) и интеграция с LDAP.
• Какой интерфейс vCenter Server будет использоваться для администрирования и ежедневных операций (vSphere Client / Web Client).
• Модель лицензирования vCenter.
• Вопросы лицензирования стороннего ПО в виртуальных машинах (на хост, на виртуальный процессор vCPU и т.п.).

B. Вычислительные ресурсы

Решения в области логической архитектуры

• Традиционная архитектура, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с хранилищами).
• Минимальное число хостов в кластере.
• Тип сайзинга хостов в кластерах: вертикальный (Scale Up) или горизонтальный (Scale Out)?
• Гомогенные или гетерогенные узлы?
• Число физических процессоров на хост.
• Резервирование уровня хостов в рамках доменов отказа (Failure Domains).
• Необходимая емкость по CPU.
• Необходимая емкость по RAM.

Решения в области физической инфраструктуры

• Вендор серверов.
• Тип процессоров серверов.
• Фичи CPU: VT-x, Hyper-threading, Turbo Boost, включена ли NUMA?
• Конфигурация серверного оборудования.
• Число сокетов CPU на узел.
• Модель процессора, частота и число ядер.
• Нужен ли GPU?
• Физическое размещение хостов.
• Тип размещения: Single Rack или Multi-Rack с шарингом ресурсов?
• Требования к доступности кластеров.
• Нужно ли обеспечить согласованность доступности хостов с доступностью хранилищ.
• Будущее расширение вычислительных ресурсов.

C. Хранилища

Решения в области логической архитектуры

• Традиционные хранилища, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с вычислительными ресурсами).
• Блочные или IP-хранилища?
• Средства автоматизированного управления хранилищами.
• Допустимо ли использование RDM?
• Метод загрузки хоста ESXi - с локального диска (DAS), LUN или PXE.
• Толстые или тонкие диски для виртуальных машин?
• Необходимые ресурсы хранения.
• Репликация хранилищ.

Решения в области физической инфраструктуры

• Вендор систем хранения.
• Расчет используемой емкости хранилищ с учетом пулов хранения, затрат на репликацию и бэкап. Каковы численные требования к емкости и производительности хранилищ?
• Число дисков SSD и HDD в каждой из систем хранения.
• Использование дедупликации, сжатия данных, технологии Erasure Coding и Storage APIs. Нужно ли держать процент хранилищ всегда свободным?
• Какой активный Working Set (рабочий объем данных) необходим?
• Трешхолды для автоматизированного ярусного хранения данных (разнесения по ярусам).
• Использование шифрованных дисков и сервер KMS.
• Сеть хранения данных и ее организация.
• Механизм загрузки хстов ESXi.
• Технологии VM DirectPath I/O и SR-IOV.
• Число датасторов на кластер.
• Будут ли использоваться DRS и SIOC?
• Будут ли применяться VMDK shares на уровне виртуальных дисков?
• Будет ли использоваться технология VAAI?
• Использование VASA и профилей хранилищ (storage profiles).
• Будут ли использоваться синхронные или асинхронные DR-решения?
• Планирование расширения хранилищ.

D. Сетевая инфраструктура

Решения в области логической архитектуры

• Технология Legacy 3-Tier Switch, Collapsed Core или Clos-type Leaf/Spine?
• Кластеризованные физические или отдельные коммутаторы EoR/ToR?
• Растянутые логические VLAN или на уровне стойки?
• Трафик будет функционально разделяться на уровне виртуальных коммутаторов или отдельных VLAN?
• Будут ли использоваться Jumbo Frames?
• Требования Quality of Service (QoS).
• Балансировка нагрузки в сети (Load Balancing).
• Версия протокола IP.
• Соединения Inter-Data Center, включая RTT.
• Требуемая емкость и пропускная способность сети.
• Какие ВМ разрешены - с одним или несколькими vNIC?

Решения в области физической инфраструктуры

• Выбор вендора решения Clos-type Leaf/Spine для больших инсталляций. Либо использование архитектуры Core/Agg/Dist/Access switch.
• Фабрика коммутаторов типа Blocking или non-blocking?
• Если blocking, какое уровень переподписки (over-subscription ratio)?
• Каков путь трафика типа North/South и East/West?
• Где находятся шлюзы Layer 3 для каждой из подсетей?
• Требования к динамической маршрутизации (Dynamic Routing)?
• Нужен ли мультикаст?
• Будут ли использоваться End-to-End Jumbo Frames?
• Интерфейсы хостов ESXi: 1GbE и/или 10GbE? Сколько их будет на каждом хосте?
• Интерфейсы на хостах - LAG или unbonded?
• Слой управления для KVM и iLO/iDRAC/IPMI.
• Производительность физической сети LAN.
• Матрица связности хостов по сети передачи данных.
• Нужно ли Metro Ethernet между датацентрами?
• Использование QoS, Network Control и vSphere Network I/O Control.
• Будет ли использоваться Edge QoS или End-to-End QoS?
• Система vSphere NIOC и User-Defined Network Resource Pools.
• vMotion через несколько физических адаптеров одновременно.
• Использование VLAN Pruning.
• Использование Spanning Tree.
• Технологии VM DirectPath I/O и SR-IOV.
• Будет ли включена TCP Offload?
• Будут ли использованы стандартные vSwitch (VSS) или распределенные Distributed Switch (VDS).
• Разные vSwitches на кластер или общие?
• Использование технологий Teaming и Load Balancing.
• Порты VMkernel.
• Группы портов для виртуальных машин.
• Нужно ли решение VMware NSX-v?
• Планирование расширения сети по числу портов.

E. Защита данных

Решения в области логической архитектуры

• Частота резервного копирования большинства ВМ.
• Настройки бэкапов уровня Application Consistent и Database Consistent.
• Требования ко времени восстановления.
• Физическое разделение актуальных данных и бэкапов.
• Необходимые решения для бэкапа.
• Требования к производительности процесса резервного копирования.

Решения в области физической инфраструктуры

• Будет ли использоваться решение на базе VADP (например, Veeam Backup and Replication).
• Критерии для выбора решения по бэкапу.
• Требования к механизму резервного копирования и восстановления.
• Снапшоты уровня ВМ.
• Нужна ли асинхронная репликация снапшотов ВМ в удаленный кластер или публичное облако.
• Частота резервного копирования.
• Политика хранения резервных копий.
• Выделяемые емкости под хранение бэкапов и производительность процесса.
• Быстрое восстановление средств управления кластером на хосте ESXi.
• Рост объема хранения бэкапов и ресурсы для его обслуживания.

F. Виртуальные машины

Решения в области логической архитектуры

• Стандартные размеры ВМ (по уровням настроек - виртуальный диск, память, сеть, опции).
• Какие механизмы для CPU и RAM будут использоваться (например, Memory Ballooning)?
• Размещение файлов ВМ.
• Стандартизация гостевых ОС.
• Выбор между 64 и 32-битными системами.
• Использование шаблонов.

Решения в области физической инфраструктуры

• Стандартные размеры виртуальных машин и ресурсы для них.
• Планирование виртуальных сервисов vApps и пулов ресурсов.
• Размещение виртуальных машин на общих хранилищах.
• Стандартные настройки виртуальных дисков машин.
• Будут ли использоваться тонкие диски?
• Допустимы ли аппаратные снапшоты на уровне хранилищ или снапшоты vSphere?
• Будет ли включен Changed Block Tracking (CBT)?
• 32/64-битные версии гостевых систем.
• Адаптеры vSCSI.
• Виртуальные сетевые адаптеры vNIC.
• Версия виртуального аппаратного обеспечения (VM Hardware).
• Будут ли установлены VMware Tools и какой версии?
• Прочие стандартные настройки ВМ.
• Какие шаблоны ВМ будут использоваться?
• Настройки репозиториев шаблонов ВМ.
• Предложения по работе виртуальных машин с приложениями уровней Mission-Critical/Business-Critical.

G. Безопасность

Решения в области логической архитектуры

• Зоны и трасты.
• Нужна ли Defence-in-Depth?
• Будет ли решение мультивендоным?
• Физическое разделение сегментов сети.
• Стандарты, которые нужно соблюсти.
• Требования к защите инфраструктуры виртуализации и виртуальным машинам.
• Необходимый объем защиты сетевой инфраструктуры.

Решения в области физической инфраструктуры

• Физическое и виртуальное зонирование сетей.
• Сетевые экраны уровня приложений и уровня сетей.
• Системы IDS и IPS.
• SSL и сети IP-Sec VPN.
• Комплексная защита от сетевых угроз (Unified Threat Management)?
• Выбор вендора в сфере решений ИТ-безопасности.
• Нужно ли решение VMware NSX-v/T?
• Защита конечных устройств и выбор антивирусов.
• Производительность решений для сеNetwork Security Performance?
• Системы Security Information & Event Management (SIEM).
• Будет ли использоваться инфраструктура шифрования (Public Key Infrastructure, PKI)?
• Будет ли использоваться технология vSphere Cluster security? STIG?
• Технологии защиты хоста ESXi.
• Технологии защиты сетевого взаимодействия.
• Технологии защиты хранилищ.
• Технологии защиты резервных копий.
• Технологии защиты виртуальных машин.
• Будет ли будущее расширение инфраструктуры и какие дополнительные средства могут понадобиться?

H. Непрерывность бизнеса / восстановление после аварий (BC/DR)

Решения в области логической архитектуры

• Какие механизмы защиты будут использоваться?
• Ручные или автоматические сценарии восстановления? Регламент ручных действий.
• Политики RPO, RTO, WRT и MTD для приложений различной степени критичности (Mission-Critical, Business-Critical и Non-Critical).
• Как использовать глобальные балансировщики (Global Site Load Balancers).
• Параметры DNS TTL для клиентов.

Решения в области физической инфраструктуры

• Нужны ли решения по катастрофоустойчивости?
• Нужен ли продукт VMware SRM или Veeam Availability Suite?
• Нужно ли решение GSLB?
• Использование внутренних и внешних DNS-серверов.
• Уровень катастрофоустойчивости - нужна ли синхронная репликация на географически удаленные кластеры?
• Репликация на несколько площадок, репликация баз данных и Message Queue clustering/replication.

Некоторые из вас знают, что VMware и другие производители в последнее время борются с уязвимостями Meltdown и Spectre в процессорах Intel, выпуская и отзывая патчи для различных компонентов ИТ-инфраструктуры. Мы писали об этом не так давно в следующих заметках:

• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

Как вы знаете, из за патчей для данных уязвимостей на серверах ESXi иногда существенно проседает производительность (также подробно об этом написано тут), что необходимо отслеживать для того, чтобы не оказаться в ситуации неожиданного недостатка ресурсов в кластере после его апгрейда.

Напомним основные статьи VMware KB, касающиеся исправлений данных уязвимостей:

• https://kb.vmware.com/s/article/52245 
• https://kb.vmware.com/s/article/52337

Еще в декабре 2017 некоторые из уязвимостей были пофикшены, но с тех пор у многих пользователей VMware vSphere появились проблемы с производительностью.

Один из сотрудников VMware опубликовал полезную заметку о том, как с помощью решения vRealize Operations Manager можно отслеживать производительность хостов ESXi в кластерах VMware HA/DRS и на основе этого принимать решения о патчинге тех или иных производственных сред и кластеров.

1. Трекинг версий BIOS и хостов ESXi для каждого сервера с использованием дэшборда Host Configuration.

Этот инструмент нужен, чтобы не забыть пропатчить хост-серверы ESXi:

2. Просмотр информации об использовании виртуальными машинами системных ресурсов.

3. Также надо смотреть на изменения CPU и Memory Usage на уровне кластера с помощью дэшборда Capacity Overview.

4. С помощью дэшборда Heavy Hitters можно выяснить, какие из ВМ сейчас действительно сильно грузят оборудование.

5. Также если у вас есть 2 кластера, которые выполняют одну функцию в плане рабочих нагрузок - вы можете переместить нагрузки с помощью функции Workload Balance.

6. Возможность перераспределения емкости кластера можно узнать с помощью дэшборда Capacity Reclaimable.

7. Использование кастомных дэшбордов для Meltdown и Spectre.

Это возможно, если у вас издание vRealize Operations Advanced или более высокое, так как оно позволяет создавать кастомные дэшборды. Сотрудники VMware, Iwan Rahabok, Mark Scott и Luciano Gomes, разработали специальные дэшборды, которые сфокусированы на конфигурации, производительности, емкости и утилизации виртуальной инфраструктуры. Скачать все три дэшборда вместе с инструкциями можно по этой ссылке.

Эти следующие три дэшборда:

• Performance Monitoring
• Planning Guest OS Patching
• Tracking vSphere Patching

7.1 Дэшборд Performance Monitoring.

Этот дэшборд позволяет отслеживать производительность CPU и памяти на всех уровнях - ВМ, хост, кластер. Соответственно, сравнивая исторические периоды, вы сможете сделать вывод о падении производительности.

7.2 Дэшборд Planning Guest OS Patching.

Этот дэшборд нужен для того, чтобы спланировать патчинг гостевых ОС. Сначала находятся все простаивающее ВМ, апдейт которых не сильно повлияет на функционирование виртуальной инфраструктуры, а в последнюю очередь идет обновление так называемых "heavy hitters" - рабочих лошадок вашего предприятия, апдейт которых должен проводиться с особой осторожностью.

7.3 Дэшборд Tracking vSphere Patching.

Этот дэшборд помогает планировать апгрейд различных версий VMware ESXi, а также версий виртуального аппаратного обеспечения (Virtual Hardware) виртуальных машин. Он решает 2 практические задачи:

• Отслеживание номеров билдов VMware ESXi и прогресса патчинга серверов.
• Отслеживание Virtual Hardware различных ВМ.

Совокупность всех этих инструментов позволит вам не только грамотно спланировать весь процесс патчинга гостевых ОС и хост-серверов, но и измерить влияние на производительность результата апгрейда хостов ESXi и прочих компонентов виртуальной инфраструктуры.

Как вы знаете, некоторое время назад были обнаружены серьезные уязвимости в процессорах компании Intel, условно называемые Meltdown и Spectre. Вскоре после их обнаружения многие производители выпустили обновления микрокода оборудования, многие из которых оказались неготовыми к эксплуатации в производственной среде (происходили неожиданные перезагрузки, падала производительность и появлялись другие эффекты).

VMware тогда тоже выпустила обновления для VMware ESXi и vCenter, закрывающие потенциальные угрозы, но через несколько дней была вынуждена отозвать их обратно ввиду тех же самых эффектов.

Теперь, наконец, вышло обновление VMware vCenter Server Appliance 6.5 Update 1f, содержащее исправления для серверов управления на базе виртуального модуля с Photon OS на борту, исправляющее следующие дыры в безопасности:

• Bounds-check bypass (уязвимость Spectre-1, CVE-2017-5753)
• Rogue data cache load issues (уязвимость Meltdown, CVE-2017-5754)

Надо отметить, что уязвимость Spectre-2 (Branch target injection - CVE-2017-5715) по-прежнему не исправлена в данном релизе.

Патч VMware vCenter 6.5 Update 1f можно загрузить с VMware Patch Portal (VMware-VCSA-all-6.5.0-7801515.iso):

В процессе апдейта будут обновлены следующие пакеты:

• linux 4.4.110-2
• libgcrypt 1.7.6-3
• c-ares 1.12.0-2
• ncurses 6.0-8
• libtasn1 4.12-1
• wget 1.18-3
• procmail 3.22-4
• rsync 3.1.2-4
• apr 1.5.2-7

Также помимо VMware vCSA патч доступен и для решения vSphere Integrated Containers 1.3.1. На данный момент матрица выхода апдейтов фикса Meltdown и Spectre выглядит весьма удручающе (более подробно - вот тут):

Пропатчить VMware vCSA можно также через GUI из дефолтного репозитория обновлений продукта.

Ну и мы все еще ждем обновления для хостов VMware ESXi, которые до сих пор в статусе "Patch Pending".

Дункан Эппинг написал интересную заметку о максимальных настройках виртуальных машин, защищенных средствами кластера непрерывной доступности VMware Fault Tolerance.

Некоторые из вас знают, что у Fault Tolerance есть ограничения как по числу одновременно защищенных виртуальных машин на хосте, так и по числу виртуальных процессоров (vCPU) на один хост ESXi. Напомним, что эти ограничения были улучшены в VMware vSphere 6.0, теперь можно с помощью FT защищать машины с четырьмя vCPU, а всего таких машин может быть до четырех штук. Но при этом заявлено, что для FT не может быть более 8 vCPU на хосте (то есть 4 машины по 4 vCPU в каждой поддерживать не получиться).

Но это, оказывается, только в дефолтной конфигурации. Для регулирования этих параметров есть две расширенные настройки (Advanced Settings) кластера HA/DRS:

• das.maxftvmsperhost - максимальное число защищенных ВМ на хост (4).
• das.maxFtVCpusPerHost - максимальное число защищенных vCPU на хост (8).

Они по умолчанию равны значениям, описанным выше, но вы можете выставить свои значения - и это будет работать. Тогда откуда они взялись? Очень просто - инженеры взяли типовые нагрузки, посадили их на адаптер 10G и получили, что хост потянет где-то 8 vCPU для Fault Tolerance (4 машины по 2 vCPU). Это условие выполняется при старте машин пользователем, миграциях vMotion, а также механизмом DRS при расчете рекомендаций.

Но у вас своя инфраструктура (может уже и адаптеры 40 Gbps), поэтому вы можете использовать какие захотите разумные значения. Кстати, если вы поставите значение 0, то кластер VMware DRS будет полностью игнорировать данное требование к числу FT-машин на хост.

Но помните, что со стороны VMware превышение указанных значений не будет официально поддерживаемой конфигурацией.

Многие из вас хотя бы раз задумывались о том, сколько виртуальных машин должно в среднем приходиться на один хост, а кроме того, в частности, сколько виртуальных процессоров (vCPU) могут исполняться на физических процессорах (pCPU) хост-сервера VMware ESXi.

На этот счет системные архитекторы часто дают следующие рекомендации (в соответствии с критичностью нагрузок в кластере):

• Tier 1 cluster (mission-critical приложения) - соотношение 1:1 vCPU / pCPU.
• Tier 2 cluster (business-critical приложения) - соотношение 3:1 vCPU / pCPU.
• Tier 3 cluster (инфраструктурные и обеспечивающие приложения) - соотношение 5:1 vCPU / pCPU.
• Tier 4 cluster (виртуальные десктопы) - соотношение 10:1 vCPU / pCPU.

Это общие рекомендации и, конечно же, не железные правила - отталкиваться нужно от имеющегося оборудования и характера нагрузок в виртуальных машинах.

Для того, чтобы регулировать это соотношение со стороны кластера балансировки нагрузки VMware DRS есть 2 специальные расширенные настройки:

• MaxVcpusPerClusterPct - регулирует соотношение vCPU/pCPU на уровне всего кластера, не привязываясь к конкретным хостам ESXi (то есть сумма vCPU всех машин делится на сумму pCPU всех хостов).
• MaxVCPUsPerCore - регулирует соотношение vCPU/pCPU на уровне каждого из хостов ESXi, то есть ни на одном из них это соотношение не может быть превышено.

Указываются эти расширенные настройки в разделе Configuration Parameters в vSphere Web Client при настройке DRS-кластера:

Также их можно задать и в HTML5-клиенте vSphere Client:

Но самое интересное - это то, что в vSpher Web Client эта настройка есть в GUI и регулирует параметр MaxVcpusPerClusterPct на уровне всего кластера (можно задать процент от 0 до 500, но разумно задавать значения от 100 до 500, если задать 500 - число vCPU может быть больше pCPU в пять раз):

А вот в vSphere Client - эта настройка уже MaxVCPUsPerCore, то есть задание CPU Overcommitment на уровне каждого из хостов ESXi, о чем и написано в интерфейсе:

Кстати, выставить эту настройку можно в диапазоне от 0 до 32.

Почти все из вас в курсе, что недавно в процессорах Intel были найдены уязвимости Meltdown и Spectre. Недавно мы писали о том, то компания VMware выпустила патчи для хост-серверов VMware ESXi, а также для управляющего сервера vCenter. Вильям Лам даже написал скрипт PowerCLI для проверки накаченных обновлений на хосты и виртуальные машины.

Но...18 января VMware, получив некую "важную информацию" от Intel, отозвала выпущенные патчи и опубликовала специальную KB 117649, в которой описала сложившуюся ситуацию, не особенно ее проясняя. Пока мы ждем патчей от VMware и Intel, можно взглянуть на некоторые результаты тестов производительности (раз и два), где показано, как исправления микрокода серверов от описанных уязвимостей негативно влияют на производительность:

Говорят, что падение производительности для тяжелых нагрузок (особенно по вводу-выводу) может составить от 5% до 30%, что как бы очень много.

В связи с этими событиями (последствия от которых еще проявят себя в ближайшие недели), компания Login VSI сделала специальную бесплатную лицензию на свое одноименное средство тестирования (мы писали об одной из версий тут). Запросить бесплатную лицензию на инструмент Login VSI можно по этой ссылке. Она, кстати, абсолютно ничем не ограничена - ни числом хостов, ни виртуальных машин в вашей виртуальной инфраструктуре, а для тестирования доступны все рабочие нагрузки.

Единственное ее ограничение - бесплатная версия прекратит работать 31 марта этого года. С помощью Login VSI вы можете протестировать производительность таких платформ, как Citrix XenApp, XenDesktop, Microsoft RDS и, конечно же, VMware Horizon View. 

В целом, влияние обновлений безопасности на производительность особенно чувствительно именно для VDI-инфраструктур, где коэффициент консолидации виртуальных машин на хостах существенно выше, чем в серверной среде.

Запросить бесплатную лицензию на Login VSI можно здесь.

Как вы знаете, механизм динамической балансировки нагрузки VMware DRS используется для того, чтобы в условиях неравномерной нагрузки на хост-серверы VMware ESXi выравнивать ее за счет дачи рекомендаций по миграции виртуальных машин средствами vMotion на другие хосты, либо автоматического выполнения этих рекомендаций.

Давайте посмотрим как Distributed Resource Scheduler работает с оперативной памятью. В кластере DRS есть такая настройка "Memory Metric for Load Balancing", которая отключена по умолчанию, и если почитать к ней описание, то становится понятно, что DRS по умолчанию руководствуется параметром Active memory для балансировки.

У машины есть три основных параметра памяти, учитываемых DRS - это Active, Consumed и Configured Memory:

• Configured - это память, указанная в настройках виртуальной машины, то есть ее максимальное значение.
• Consumed - это память, которая использовалась виртуальной машиной с момента ее загрузки (а вы знаете, что при загрузке операционная система обращается к большему объему памяти, чем затем ее использует).
• Active - это активные страницы памяти (RAM), которые сейчас используются гостевой ОС.

На картинке ниже показан пример - у машины 16 ГБ памяти, при этом при загрузке она наинициализировала страниц памяти на 12 ГБ, а активно использует только 5734 МБ.

Для того чтобы подчитывать используемую память, планировщик DRS подсчитывает working set из страниц Active Memory и прибавляет к нему 25% от разницы между Consumed и Active (это называется Idle Consumed Memory) на незапланированные резкие изменения нагрузки - и это число использует в своих вычислениях балансировки кластера:

В данном случае будет использоваться значение 5734+0,25*(12288-5734) = 7372,5 МБ (на картинке 7373 МБ). Кстати, это еще не все - к машине с памятью в 16 ГБ прибавляются накладные расходы (Overhead) в размере 90 МБ, поэтому DRS в своих вычислениях будет использовать значение 7373+90 = 7463 МБ.

Если же включить настройку DRS-кластера, упомянутую выше, то DRS в своих вычислениях будет использовать Consumed Memory и также прибавлять Memory Overhead:

В обновлении vSphere 6.5 update 1d клиент позволяет вам просматривать как метрику Active Memory, так и Consumed Memory.

Вот так выглядит картинка для сбалансированного кластера DRS (рекомендаций и ошибок нет):

Кстати, если вы посмотрите на Active Memory сбалансированного кластера, то там вполне может быть дисбаланс:

В этом нет ничего страшного, так как машины используют менее 20% active memory от памяти хоста, всем памяти хватает, и DRS решает, что балансировать машины в таком случае - это только тратить ресурсы CPU и сети на vMotion.

Переключимся теперь на Consumed memory:

Тут мы видим большой дисбаланс и разница между хостами более 20% от значений Consumed memory на них. Поэтому если мы включим настройку "Memory Metric for Load Balancing", то кластер DRS начнет работу по миграции виртуальных машин между хост-серверами. Итогом будет вот такая картина:

Вывод тут вот какой. Если у вас кластер работает без оверкомита (non-overcommitted) и есть большой запас по RAM на хостах, то, возможно, вам и следует поставить настройку "Memory Metric for Load Balancing", чтобы DRS балансировал хосты по consumed memory, а сами рекомендации по миграциям, например, можно применять в ручном режиме, чтобы контролировать ситуацию.

Многие из вас знают, что одной из новых возможностей решения для организации отказоустойчивых кластеров хранения VMware vSAN стали проактивные тесты, которые доступны через VMware vSphere Web Client. Раньше их было три штуки:

Но недавно некоторые из вас, возможно, заметили, что в новой версии VMware vSAN (которая доступна с VMware vSphere 6.5 Update 1 Patch 02) остался только одиноко болтающийся тест на создание виртуальной машины:

Дункан Эппинг пишет, что это обусловлено двумя факторами:

• Тест Multicast performance ушел, так как мультикаст-режим был убран из VMware vSAN (еще в версии vSAN 6.6), соответственно, ушел и тест на его производительность. Теперь когда вы используете vSAN в режиме юникаст, то тест показан не будет, но если будете использовать все же мультикаст - тест появится.
• А вот тест Storage Performance ушел вот почему: у VMware есть методика тестирования HCI Bench, которая позволяет провести комплексный тест производительности отказоустойчивых кластеров хранилищ vSAN, а также других конфигураций виртуальной инфраструктуры. Это очень гибкий инструмент, который позволяет проводить наиболее точное тестирование и настраивать различные аспекты методики и среды тестирования. Соответственно, VMware решила поддерживать только один инструмент, а Storage Performance Test убрать из клиента для управления виртуальной инфраструктурой.

На днях мы писали о том, что компания VMware выпустила обновления VMware vCenter и ESXi, закрывающие потенциальную угрозу безопасности Spectre (она же Hypervisor-Assisted Guest Mitigation - CVE-2017-5715), которая недавно была обнаружена в процессорах Intel. Для закрытия уязвимости нужно обновить не только серверы ESXi и vCenter, но и микрокод (BIOS/Firmware) серверов (более подробная информация также приведена в KB 52085).

На днях наш читатель Сергей прислал ссылку на скрипт от Вильяма Лама, который позволяет провести проверку компонентов виртуальной инфраструктуры VMware vSphere на данную уязвимость. Этот PowerCLI-скрипт содержит две функции:

• Verify-ESXiMicrocodePatchAndVM
• Verify-ESXiMicrocodePatch

Первая функция позволяет проверить хосты ESXi и виртуальные машины и сгенерировать отчет в разрезе виртуальных машин. Если в колонке Affected стоит значение False - значит обновления и микрокода сервера, и хоста ESXi были применены, а сами ВМ и хост-сервер не подвержены уязвимости Spectre.

Вторая функция проверяет только, что на хостах ESXi накачено обновление как микрокода, так и самого гипервизора ESXi, который видит обновленные CPU features.

Функция Verify-ESXiMicrocodePatchAndVM может быть запущена тремя способами:

• Без параметров - проверяется все окружение VMware vSphere и все виртуальные машины в нем.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты и ВМ.
• С параметром - VMName - проверяется только конкретная ВМ и ее хост, соответственно.

У функции Verify-ESXiMicrocodePatch также есть три способа вызова:

• Без параметров - проверяются все хост-сервера в инфраструктуре vCenter.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты.
• С параметром - VMHostName - проверяется конкретный хост-сервер ESXi.

Скачать этот PowerCLI-сценарий можно по этой ссылке: VerifyESXiMicrocodePatch.ps1.

Кстати говоря, этот скрипт был добавлен в полезный скрипт vCheck, который перед Новым годом обновился до версии 6.25, скачать его можно вот тут - https://github.com/alanrenouf/vCheck-vSphere.

Те из вас, кто следят за ИТ-новостями, наверняка слышали о последних уязвимостях, обнаруженных в процессорах Intel. Одной из таких уязвимостей стала Spectre - она потенциально позволяет локальным приложениям (локальному атакующему, при запуске специальной программы) получить доступ к содержимому виртуальной памяти текущего приложения или других программ.

На днях компания VMware опубликовала обновления для своей платформы VMware vSphere, которые устраняют потенциальные проблемы со Spectre (сама уязвимость описана вот тут).

Исправления для серверов VMware vCenter можно скачать по этим ссылкам:

• VMware vCenter Server 5.5 Update 3g - Release Notes - Загрузить
• VMware vCenter Server 6.0 U3d - Release Notes - Загрузить
• VMware vCenter Server 6.5 U1e - Release Notes - Загрузить

Вы можете скачать как установочный образ:

так и патч к vCenter с VMware Patch Portal (ищите обновление от 9 января):

Для серверов VMware ESXi надо пойти на VMware Patch Portal и загрузить оттуда обновление ESXi650-201801401-BG / ESXi650-201801402-BG. (номер билда 7526125). Подробная информация об обновлении приведена в KB 2151099.

Также данное исправление доступно и для настольных платформ виртуализации VMware:

• VMware Workstation 14.1.1 Pro for Linux - Загрузить
• VMware Workstation 14.1.1 Pro for Windows - Загрузить
• VMware Fusion 10.1.1 (для Intel-based Macs) - Загрузить
• VMware Fusion 8.5.10 (для Mac OS X) - Загрузить

Спасибо нашему читателю Стасу за новость об этих исправлениях.

Гостевой пост нашего партнера - сервис-провайдера ИТ-ГРАД, предоставляющего услуги аренды виртуальных машин.

Blockchain — это принципиально новая технология, которая в последнее время приковывает к себе все больше внимания. Специалисты из таких отраслей, как финансы, экономика, медицина, логистика, IoT, активно работают над исследовательскими и экспериментальными проектами с использованием блокчейн, поскольку эта технология заточена не только на криптовалюты.

Отметим, что Hyperledger Fabric — это не компания, не криптовалюта, а проект с открытым исходным кодом, организованный сообществом Linux Foundation, который был создан для продвижения блокчейн-технологии. Это нечто, похожее на хаб для открытой разработки отраслевых блокчейнов. Hyperledger Fabric дает широкие возможности, позволяя разработчикам сконцентрироваться на запуске блокчейн-проекта с собственной бизнес-логикой.

Взгляд изнутри

Суть утилиты Blockchain on vSphere заключается в возможности развернуть несколько узлов кластера Hyperledger Fabric, так называемых Pods, причем максимально просто. При этом в Blockchain-сервисе используются три учетные записи:

• Cloud Admin,
• Blockchain Admin,
• Blockchain Developer.

Каждая из них имеет соответствующие полномочия на разных уровнях системы: Cloud Admin может мониторить и работать с инфраструктурой на базе vSphere, Blockchain Admin — управлять платформой blockchain (Hyperledger Fabric), а разработчик Blockchain фокусируется на разработке приложений с использованием платформы blockchain.

Градация полномочий на разных уровнях системы

Hyperledger Fabric — это распределенная система, реализованная с использованием контейнеров. Она может быть развернута на платформе, которая поддерживает контейнерный стандарт OCI. При этом для управления контейнерами Fabric используется система Kubernetes. В основе рассматриваемого примера для Fabric v1.0 лежит следующая архитектура:

• Используются пространства имен для поддержки различных организаций Fabric.
• Используется настраиваемое количество одноранговых узлов в организации.
• Организуется изоляция через Persistent Volume.

Архитектура решения

Инструкция по развертыванию

Для реализации блокчейн-проекта с использованием Hyperledger Fabric необходимо выполнить ряд предварительных требований, включающих наличие: Читать статью далее->>

В декабре прошлого года мы писали о том, что компания VMware выпустила обновление ESXi 6.5 Update 1 Patch 2, а также вскользь упомянули апдейт сервера управления - VMware vCenter 6.5 Update 1d. А вчера в нашей заметке про обновленный vSphere Client наш читатель обратил внимание на статью в блоге VMware, где рассказано о некоторых новых фичах vSphere Client, версия 3.21 которого была включена в состав vCenter 6.5 Update 1d.

Как обычно обновился и документ о различиях vSphere Client и vSphere Web Client на момент 18 декабря прошлого года (то есть до версии vSphere Client 3.31).

Давайте посмотрим, что за фичи есть в HTML5-клиенте, который поставляется с vCenter 6.5 Update 1d, по сравнению с его прошлой версией, включенной в vCenter.

1. Улучшенный вид интерфейса Clarity.

Благодаря новому подходу VMware за счет фреймворка Clarity интерфейс клиента стал более эстетичным и удобным в использовании. Давайте взглянем, например, на возможность переключения между Active и Consumed Memory в vSphere Client:

2. Настройка vSphere Proactive HA.

Ранее это можно было делать только через Web Client, теперь это выглядит удобно и красиво:

3. Появилась настройка Content Library.

Важная фича - добавление уже существующей библиотеки с контентом (например, с другого сервера vCenter):

4. Настройка Network IO Control (NIOC) на VDS.

Теперь это возможно через vSphere Client (вместе с настройкой LAGs и LACP) для vSphere Distributed Switch (VDS), включая изменение параметров шлюза на адаптерах VMkernel:

5. Настройка политик хранения (Storage Policies).

Ранее это было доступно только через Web Client (например, нельзя было создать новую политику в HTML5-клиенте), но теперь можно делать все операции в удобном рабочем процессе для vSphere Client, который, кстати, был упрощен.

6. Управление VIB-пакетами.

Очень удобный раздел, чтобы узнать, какие дополнения в виде VIB-пакетов установлены на хосте ESXi. Доступно по адресу Host –> Configure –> System –> Packages:

7. Управление настройками ВМ и шаблонами.

Теперь в VM Settings можно настраивать все параметры виртуальных машин, включая добавление новых виртуальных устройств, таких как NVMe, SCSI, USB Controller и Host-based USB Adapter. Кроме того, появилась возможность работы с шаблонами (VM Templates).

8. Настройка VM Guest Customization Specifications.

При развертывании ВМ из шаблонов с помощью HTML5-клиента теперь можно использовать спецификацию созданную с помощью встроенного мастера, либо указать уже существующий файл спецификации.

Скачать текущую версию VMware vSphere Client можно по этой ссылке. VMware vCenter 6.5 Update 1d доступен тут.

«Код безопасности» анонсировал выход продукта vGate 4.0. Решение для защиты виртуальных инфраструктур будет востребовано компаниями, применяющими виртуальные платформы VMware vSphere или Microsoft Hyper-V последних версий. Продукт позволяет настроить инфраструктуру согласно различным требованиям с помощью наборов политик, разграничить права доступа администраторов, а также обеспечить защиту от несанкционированного доступа к виртуализованным ресурсам.

На днях компания DoubleCloud, выпускающая средства для управления виртуальной средой, обновила свою главню бесплатную утилиту до второй версии - VMDeployer 2.0. Напомним, что это Java-приложение с графическим интерфейсом, позволяющее развернуть виртуальный модуль OVA/OVF с расширенными опциями.

Это удобно для тех администраторов виртуальной инфраструктуры VMware vSphere, у которых не получается развернуть модуль через vSphere Web Client или vSphere Client, либо не хватает его возможностей, а также возможностей консольной утилиты ovftool (кстати, для нее VMDeployer генерирует команды). О версии VMDeployer 1.4 мы писали вот тут.

Давайте посмотрим на новые возможности VMDeployer 2.0:

1. Поддержка VM Migration (только vCener). Теперь вы можете выбрать любую виртуальную машину из списка и переместить ее на любой другой хост ESXi и/или датастор. При этом GUI был сильно упрощен, что экономит время. Также добавилась панель основных операций с ВМ - включение, конфигурация, снапшот и т.п.

2. Панель Recent Tasks. Теперь появилась новая вкладка "Recent Tasks", которая отображает последние задачи целевого сервера, которые выполнялись последние 5 или 10 минут. Также вкладка отображает список похожих задач (similar tasks) - похожая панель существует в vSphere Client и Web Client.

3. Улучшенный Virtual Machine Cloning с поддержкой шаблонов. В прошлых релизах вы выбирали только папку назначения и все - утилита использовала тот же хост-сервер ESXi, пул ресурсов и датастор в качестве исходной виртуальной машины. Это хорошо работает с машинами, но не подходит для шаблонов. Другими словами, таким образом нельзя было развернуть новую ВМ из шаблона, так как у шаблонов нет опции выбора пула ресурсов.

Скачать VMDeployer 2.0 можно по этой ссылке.

На днях компания VMware выпустила пакет обновления к VMware ESXi 6.5 Update 1, именуемый как Patch 02, добавляющий несколько новых возможностей к решению для создания отказоустойчивых кластеров хранилищ VMware vSAN. Более подробно об этом патче написано в KB 51891.

Новое обновление ESXi включaет в себя следующие фичи vSAN:

• Продукт vSAN Support Insight - эта фича показана в видео выше. Она позволяет пользователям, участвующим в программе CEIP (Customer Experience Improvement Program) получить доступ к расширенной аналитике vSAN в целях решения проблем. Средствами Support Insight сотрудники техподдержки VMware могут исследовать окружения пользователей, понимать их конфигурацию, статус исполнения, производительность и прочие детали в масштабе времени близком к реальному. Документация по этой фиче доступна тут.

Выглядит это примерно следующим образом:

• Технология Adaptive resynchronization – функция Adaptive Resync адаптивно изменяет долю полосы пропускания, выделенную для канала ресинхронизации Resync I/O, чтобы минимизировать негативное влияние на работу клиентского канала ввода-вывода. За счет этого в периоды меньшей загрузки (выходные) канал для ресинхронизации используется больше, а во время часов пик - меньше.
• Поддержка доступа по нескольким путям для SAS-систем. Теперь из коробки поддерживается multipathing для SAS c запасными путями. Пример такого хранилища - HPE Synergy.

Скачать VMware ESXi 6.5 Patch 2 можно c VMware Patch Portal по этой ссылке (надо выбрать релиз ESXi650-201712001 с номером билда 7388607).

Более детальная информация об обновлении приведена тут.

Также вышел и vCenter Server 6.5 Update 1d - там ничего нового, кроме обновлений отдельных компонентов.

На днях компания VMware выпустила очередное обновление средства интеграции с гостевыми ОС виртуальных машин - VMware Tools 10.2.0. Напомним, что о прошлом релизе тулзов (10.1) мы писали вот тут. Кстати, у нас в последнее время было несколько интересных статей на тему этого пакета, например - раз, два и три.

Давайте посмотрим, что нового появилось в VMware Tools 10.2:

• Офлайн бандл VMware Tools VIB-пакета: его можно установить на vSphere 5.5.x, 6.0.x and 6.5.x через vSphere Update Manager.
• Поддерживаемые ОС:
  • windows.iso - поддерживает Windows Vista и более поздние.
  • linux.iso - поддерживает Red Hat Enterprise Linux (RHEL) 5 и более поздние, SUSE Linux Enterprise Server (SLES) 11 и новее, Ubuntu 10.04 и новее. Также поддерживаются дистрибутивы Linux - c glibc версии 2.5 и новее.
  • darwin.iso - поддерживает Mac OS X 10.11 и новее.
  • solaris.iso - для гостевых ОС Solaris.
• Улучшенное управление жизненным циклом VMware Tools: теперь Microsoft System Center Configuration Manager (SCCM) можно использовать для распространения и обновления VMware Tools. Для получения детальной информации смотрите статью Deploying VMware Tools using SCCM.
• Убрана поддержка FreeBSD. Это сделано для того, чтобы перенести ее в пакет open-vm-tools. Подробнее об этом читайте у нас тут.
• Поддержка ASLR (Address space layout randomization).
• Пофикшены ошибки. Для этого смотрите секцию Resolved Issues в Release notes.

Напомним, что для VMware Tools, начиная с версии 10.1, доступна подробная документация. Обновлять VMware Tools лучше через VMware Update Manager. Кстати, в онлайн-репозитории VMware версии 10.2 на момент написания заметки еще не было, но скоро он должен обновиться.

Как знают администраторы VMware vSphere, с выходом каждой новой версии платформы увеличиваются и максимумы для ее компонентов. Многие из этих максимумов трудно достижимы на практике, поскольку еще нет серверов такой возможности (например, для запуска такого количества машин в производственной среде), но некоторые аспекты требуют того, чтобы лимиты параметров были увеличены (например, число vNIC на одну машину иногда для тестирования нужно больше).

Давайте взглянем на эволюцию максимумов VMware vSphere в таблицах ниже, где отображены параметры версии 5.5, 6.0 и 6.5:

Максимумы виртуальных машин

Максимумы вычислительных мощностей VMware ESXi

Максимумы хранилищ VMware ESXi

Максимумы сетевого взаимодействия VMware ESXi

С начала ноября мы не писали про тонкий клиент на базе HTML5 для управления виртуальной инфраструктурой - VMware vSphere Client (тогда он был версии 3.27). На днях компания VMware выпустила его версию 3.30, поэтому давайте рассмотрим новые возможности, которые появились в последних трех версиях клиента - VMware vSphere Client 3.28-3.30.

Итак, что нового:

• Просмотр имеющихся лицензий (Host/Cluster/функции Solutions) - пока работает в режиме Read-Only.
• Доступны детали лицензированных продуктов и их фичей.
• Детали лицензий сервера vCenter и хостов ESXi (Host License) - доступно в разделе Configure > Licensing.
• Проверки состояния vSphere Distributed Switch (vDS health checks).
• Настройка фильтрации трафика и правил его маркировки на уровне распределенных порт-групп.
• Экспорт и импорт распределенных виртуальных коммутаторов (vDS) и распределенных порт-групп.
• Настройка политик распределенных порт-групп внутри мастера создания новой порт-группы.
• Настройка CPU Identification Mask в разделе Advanced.
• Выбор паравиртуализованного сетевого адаптера PVRDMA для сети виртуальных машин.

Скачать последнюю версию VMware vSphere Client 3.30 можно по этой ссылке.

Те из вас, кто следит за новостями VMware, знают, что некоторое время назад компания отказалась от развития своего публичного облака (ранее оно называлось vCloud Air и было продано в OVH) в пользу партнерских решений на стороне облаков сервис-провайдеров. Главным и первым из таких партнеров стала компания Amazon, которая совместно с VMware предлагает IaaS-услугу аренды виртуальных машин на базе AWS.

В мае этого года случилось невероятное: два заклятых конкурента - VMware и Microsoft - предложили совместную услугу VMware Horizon Cloud on Microsoft Azure, позволяющую получить в аренду виртуальные десктопы и приложения.

Но главная новость пришла в конце ноября - теперь две компании, жестко борящиеся за рынок серверной виртуализации, будут давать в аренду серверы VMware vSphere на оборудовании облака Azure.

Как оказалось, VMware не очень-то довольна этим фактом, но рынок есть рынок - VMware проиграла войну за публичные облака и теперь IaaS-сервисы VMware будет предлагать в том числе Microsoft.

Пока технология находится в стадии технологического превью, но есть уже первые новости от Microsoft. Вкратце они заключаются в следующем:

• Microsoft предоставит средства миграции рабочих нагрузок частного облака в инфраструктуру VMware в облаке Azure. Эти средства позволят вам обнаружить виртуальные машины VMware vSphere и связи между ними (как показано на картинке выше), а потом смигрировать их на платформу Azure. При этом заранее будут посчитаны требуемые ресурсы и, главное, примерная стоимость месячной аренды ресурсов Azure. Решение Azure Site Recovery (ASR) позволит обеспечить правильный порядок миграции и минимальное время простоя. Azure Database Migration Service позволит перенести БД SQL Server и Oracle на PaaS-платформу Azure SQL Database.
• Microsoft обеспечит интеграцию сервисов Azure и VMware. Это включает в себя такие решения, как Azure Backup, Azure Site Recovery (для Disaster Recovery-решений), управление апдейтами и конфигурациями, Azure Security Center и средства аналитики Azure Log Analytics. Кроме этого, можно будет управлять инфраструктурой и средствами VMware - с помощью консоли vRealize Automation.
• Microsoft будет развивать средства эксплуатации гибридных облаков. Это позволит создать единую гибридную инфраструктуру между онпремизным облаком VMware vSphere и виртуальными машинами на платформе Azure. Заявляется, что ВМ в облаке будут запущены на оборудовании датацентров Microsoft и ее партнеров (про загадочных партнеров очень интересно написано тут), но на серверах ("на колокейшене") как bare-metal гипервизоры будет установлен полный стек решений VMware vSphere.

Такие дела, Microsoft победила:) Несколько полезных ресурсов на почитать:

• Azure Migration Center - там утилиты, документ и описания технологий миграции, в том числе от партнеров, таких как Turbonomic, Movere и Cloudamize.
• Дополнительная информация о сценариях миграции с VMware на Azure.
• Бесплатный курс Azure for VMware vSphere Admins.

Пока идет обкатка технологического превью, а полностью сервисы VMware из облака на платформе Azure будут доступны в 2018 году.

Мы часто пишем о встроенной утилите на хосте ESXi - esxtop, которая позволяет отслеживать все основные аспекты производительности хост-серверов и виртуальных машин (процессор, память, диски и сеть). Напомним, что наши последние посты о esxtop расположены тут, тут, тут, тут, тут и тут.

А недавно вышло весьма полезное образовательное видео "Using esxtop to Troubleshoot Performance Problems", в котором показано на практическом примере, как именно использовать esxtop для решения проблем производительности (хотя голос и весьма уныл):

Ну и напомним, что у esxtop есть графический интерфейс - это утилита VisualEsxtop.

С момента выхода последнего мажорного релиза платформы виртуализации VMware vSphere 6.5 мы много писали о шифровании виртуальных машин (и, кроме того, затрагивали тему производительности этого процесса), а также техниках шифрования кластеров vSAN (и некоторых особенностях этого). Сегодня мы поговорим о самом важном компоненте инфраструктуры шифрования vSphere - Key Management Service (KMS).

Прежде всего, KMS - это сервисы шифрования не только для виртуальных машин, но и любых других объектов ИТ-инфраструктуры. Поэтому KMS уже может быть в вашей организации, при этом он может не быть прикрученным к VMware vSphere. Вы можете использовать любой KMS-сервер, но VMware сертифицировала лишь следующие системы из списка (см. вот этот документ VMware):

Если же у вас другой KMS-провайдер, не расстраивайтесь - он, скорее всего, будет работать, если поддерживает протокол управления ключами KMIP 1.1.

Начать надо с вопросов доступности KMS-сервера. Как вы понимаете, это самый важный сервер в вашей инфраструктуре, важнее DNS или контроллера домена. Если у вас недоступен DNS, все тоже не работает, как и в случае с KMS, но если оказались недоступными данные хранилища KMS - это катастрофа для организации. И нет абсолютно никакого пути восстановить их. Совершенно никакого. Обо всем этом рассказывает видео ниже:

Таким образом, KMS становится бизнес-критичной точкой не только инфраструктуры, но и бизнеса в целом. И вопросы бэкапа и его доступности - это вопросы номер 1. Давайте посмотрим на несколько базовых понятий KMS:

• KMIP (Key Management Interoperability Protocol) - это стандарт, по которому клиент KMIP может общаться с серверами KMS. Каждый год он проходит серьезную проверку на конференции RSA.
• DEK (Data Encryption Key). Это ключ, который хост ESXi генерирует, когда требуется зашифровать виртуальную машину. Этот ключ используется также и для расшифровывания данных ВМ, он записан в VMX/VM Advanced settings в зашифрованном виде.
• KEK (Key Encryption Key). Это ключ, которым зашифрован DEK. KEK key ID также находится в VMX/VM Advanced settings.
• Key Manager Cluster/Alias - это коллекция адресов FQDN/IP всех реплицируемых между собой серверов KMS. Она также хранится вместе с зашифрованной машиной в VMX/VM Advanced settings, чтобы после ее включения можно было обратиться к нужному кластеру KMS, получить KEK для cервера vCenter, который разлочит ВМ.
• VM и vSAN encryption - это, на самом деле, с точки зрения реализации механизма шифрования одно и то же. То есть, для обоих типов шифрования используются одни и те же библиотеки, конфигурации и интерфейсы.

Когда мы говорим о кластере KMS - это всего лишь KMS-серверы, реплицирующие между собой хранилища ключей. Они не обеспечивают доступность друг друга, как, например, это делает VMware HA. Например, есть серверы KMS-A, KMS-B и KMS-C, в хранилищах которых при добавлении ключа новой ВМ он появляется мгновенно.

Если KMS-A недоступен как сервер, то сервер vCenter запрашивает ключи у хоста KMS-B. Если же KMS-A недоступен как сервис (то есть сервер работает, а служба KMS не отвечает), то vCenter ждет 60 секунд восстановления работоспособности сервиса и только потом переключается на KMS-B. Это поведение изменить нельзя.

Лучшие практики по использованию KMS таковы:

• По возможности нужно делегировать обязанности по поддержке инфраструктуры KMS отдельной команде (Security Team) или человеку.
• Не класть KMS-серверы в виртуальной машине в тот же кластер (например, vSAN), который также зашифрован. Иначе коробочка закроется (выключится кластер), а ключ от нее останется внутри нее же. То есть, необходимо держать хотя бы один из KMS-серверов за пределами такого домена отказа.
• Предыдущий пункт относится и к серверам vCenter и PSC. Чтобы они могли расшифровать другие сервера, они должны быть доступны в случае сбоя.

Теперь надо сказать о катастрофоустойчивости серверов KMS. Типичный кластер в рамках одной площадки выглядит так:

Но если на этой площадке будет авария, которая затронет все 3 сервера - бизнесу может настать конец. Поэтому в идеале надо использовать конфигурацию с двумя площадками:

Понятное дело, что у малого и среднего бизнеса резервных площадок, как правило, нет. В этом случае помочь может публичное облако Amazon AWS или Microsoft Azure. Чтобы поддерживать там одну резервную машину, много денег не нужно.

Ну и если вы используете конфигурацию с несколькими площадками, то обязательно нужно учитывать в конфигурации порядок обращения к серверам KMS в рамках площадки. Если на первой площадке находятся сервера KMS-A, KMS-B и KMS-C, а на второй - KMS-D, KMS-E и KMS-F, то в первом случае порядок должен быть A,B,C,D,E,F, а во втором - D,E,F,A,B,C.

Если на второй площадке вы будете использовать конфигурацию аналогичную первой, сервер vCenter может ходить по серверам другой площадки, которая может быть недоступна, а только обойдя все ее серверы, начнет использовать локальные KMS.

Не так давно мы публиковали несколько интересных заметок о VMware Tools (раз, два, три, четыре), которые объясняют множество моментов, касающихся развертывания и эксплуатации данного пакета, предназначенного для улучшения работы гостевых ОС в среде виртуализации VMware vSphere.

В этой заметке мы постараемся обобщить эти вещи и добавить еще несколько фактов о VMware Tools, которые должен знать каждый администратор платформы ESXi:

• Пакет VMware Tools для основных гостевых ОС входит в состав ESXi, но остальные поставляются отдельно от дистрибутивов платформы, и их можно скачать отсюда.
• Чтобы узнать версии тулзов для ОС Windows и Linux, идущие вместе с дистрибутивом ESXi или патчем, загляните по этой ссылке https://packages.vmware.com/tools/versions (а мы писали об этом вот тут).
• Стандартные VMware Tools, которые подходят для большинства ОС Windows и Linux можно обновлять через VMware Update Manager (VUM). Они накатываются в виде VIB-пакетов под названием "tools-light".
• Традиционный подход к обновлению VMware Tools на множестве хостов VMware ESXi - это использовать общий репозиторий для VMware Update Manager, который накатывает обновления на серверы. Более современный подход - это использовать механизм Auto Deploy для развертывания stateless-хостов, которые забирают актуальные версии VMware Tools прямо из онлайн-репозитория VMware.
• Версии VMware Tools состоят из двух релизов - VMware Tools 10.1.x и VMware Tools 10.0.x (это два разных ISO-образа). Версия 10.1.x - это развивающаяся ветка для современных гостевых систем (сейчас актуальна 10.1.15), а 10.0.12 - замороженная, которая предназначена для устаревших ОС, которые уже не обновляются. То есть апгрейд с версии тулзов 10.0.9 происходит на 10.1. Подробнее об этом рассказано в KB 2015161.

• Почти все Linux-дистрибутивы идут с интегрированной версией Open VM Tools.
• ISO-файлы VMware Tools теперь идут с файлами контрольных сумм, по которым можно проверить соответствие пакетов на аутентичность их происхождения за счет сверки хэшей. Поэтому надо быть внимательным при распаковке составляющих пакета, и ничего оттуда не убирать.
• Для VMware Tools, начиная с версии 10.1, доступна подробная документация.
• Все новые версии VMware Tools обратно совместимы со всеми версиями VMware ESXi, которые моложе как минимум на одно поколение. В этом можно убедиться, посмотрев VMware Interoperability Matrix:

• Для Linux существует 3 вида VMware Tools (подробнее тут):
  • Operating System Specific Packages (OSP) - пакеты, которые размещены на сайте VMware (их можно скачать/обновить без аутентификации), содержащие в себе те же самые компоненты, которые находятся в ISO-образах, идущих с дистрибутивами VMware ESXi. Этот метод поставки VMware Tools для Linux уже несколько устарел и используется для старых гостевых ОС.
  • Open VM Tools (OVT) - это пакеты VMware Tools с открытым исходным кодом, которые встраиваются в большинство современных Linux-дистрибутивов. Соответственно, при установке такой гостевой ОС в виртуальной машине, пакет VMware Tools будет там уже установлен. Исходный код OVT доступен для всех желающих в репозитории на GitHub, но официально поддерживаются только те OVT, которые идут вместе с дистрибутивами Linux. Если вы скомпилировали их самостоятельно - учтите, поддержки от VMware не будет.
  • TAR Tools - они предоставляются VMware и устанавливаются через сценарий. Но VMware рекомендует использовать OVT.
• VMware Tools дают множество возможностей для виртуальной машины и гостевой ОС, обо всех них написано вот тут.
• Виртуальные машины с Windows используют паравиртуализованные драйвера хранилищ и сетевых адаптеров, что улучшает взаимодействие гостевой ОС и соответствующих ресурсов. Вот почему после обновления тулзов машина хочет перезагрузиться.
• Для унификации развертывания VMware Tools нужно настроить централизованный репозиторий и сконфигурировать хосты ESXi таким образом, чтобы они брали последние версии тулзов оттуда. Об этом мы подробно писали вот тут, также вкратце информация есть об этом здесь и здесь.

Если у вас есть еще интересные моменты на эту тему - пишите в каменты!

С момента выпуска прошлой версии VMware ESXi Embedded Host Client 1.23 прошло довольно много времени (аж три месяца), и вот на днях компания VMware выпустила обновление - Host Client 1.24 (спасибо Илье за новость). Напомним, что это решение позволяет управлять отдельными хостами VMware ESXi через веб-интерфейс, построенный на базе HTML5. Для управления всей инфраструктурой vSphere используется vSphere Client.

Посмотрим на новые возможности VMware ESXi Embedded Host Client 1.24:

• Пофикшена ошибка при развертывании образа OVF/OVA с дисками, привязанными к нескольким дисковым контроллерам.
• Корректная обработка адресов (проблемы race condition) при добавлении сетевого адаптера виртуальной машине.
• Возможность просматривать хранилища VVol из datastore browser.
• Решена проблема с таймаутом, когда клиент получает от хоста неизвестный тип хранилища.
• Решена проблем с автостартом ВМ.
• Теперь можно загружать VMDK-файлы типа Flat через datastore browser.
• Показ корректной строчки VMware Tools в свойствах VM summary.
• Паджинация в VM editor, когда ВМ имеет много дисков.
• Поддержка свойств OVF с предопределенными значениями и показ комбобоксов для них.
• Возможность изменения пермиссий пользователя root.
• Поддержка выбора зависимых PCI-устройств при включении режима проброса устройства (passthrough).
• Минорные исправления ошибок.

Напомним, что для установки Host Client используется команда (также его можно обновить прямо из клиента, используя пункт Update):

ssh root@<esx ip or hostname> esxcli software vib install -v <URL>

где <URL> - это локальный путь или веб-адрес VIB-пакета.

Загрузить ESXi Embedded Host Client 1.24 можно по этой ссылке (там же можно скачать и VMware Remote Console, выбрав ее из списка объектов загрузки).

Рано или поздно каждый администратор приходит к тому, что ему необходимо каким-то образом сохранить, а потом и извлечь учётные данные. Причём это должно быть быстро, эффективно, удобно и самое главное безопасно. Ни один из известных мне способов не отвечал всем этим требованиям одновременно. Я стал искать и нашел свой способ, которым и хочу поделиться с вами. Это PowerCLI! Удивлены? Порой самое простое решение лежит на поверхности.

Наш читатель Стас обратил внимание на то, что в начале ноября компания VMware выпустила значительное обновление для шестой версии платформы виртуализации VMware vSphere 6.0. Были опубликованы апдейты и патчи для ESXi 6.0 - ESXi600-201711001.

В составе гипервизора и прочих компонентов были обновлены следующие пакеты ESXi 6.0:

• VMware_bootbank_esx-base_6.0.0-3.79.6921384
• VMware_bootbank_vsan_6.0.0-3.79.6766495
• VMware_bootbank_vsanhealth_6.0.0-3000000.3.0.3.79.6769065
• VMware_bootbank_esx-dvfilter-generic-fastpath_6.0.0-3.79.6921384
• VMware_bootbank_misc-drivers_6.0.0-3.79.6921384
• VMware_bootbank_ipmi-ipmi-devintf_39.1-5vmw.600.3.79.6921384
• VMware_bootbank_ipmi-ipmi-msghandler_39.1-5vmw.600.3.79.6921384
• VMware_locker_tools-light_6.0.0-3.76.6856897

Обновления коснулись новых возможностей, подсистемы безопасности и исправлений наиболее серьезных ошибок. Чтобы скачать апдейт, нужно пойти на VMware Patch Portal, выбрать ESXi 6.0 и ввести там номер билда (6921384).

Правильно устанавливать обновление нужно следующими командами (если, конечно, на хосте есть интернет):

esxcli network firewall ruleset set -e true -r httpClient

esxcli software profile update -p ESXi-6.0.0-20171104001-standard -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml

esxcli network firewall ruleset set -e false -r httpClient

Кроме того, на днях также было выпущено обновление VMware vCenter 6.0 Update 3c. Там появилось три основных новых улучшения:

• Включенная поддержка SMB2 для виртуального модуля vCenter Server Appliance 6.0 Update 3c, чтобы избежать уязвимости протокола SMB1.
• Совместимость с решениями VMware vSphere Replication 6.1.2.1 и VMware Site Recovery Manager 6.1.2.1.
• Улучшения кластеров VMware Storage DRS.

Получить больше информации об обновлении VMware vCenter 6.0 Update 3c можно по этим ссылкам:

• VMware-VIMPatch-6.0.0-7037384-20171101.iso
• VMware-vCenter-Server-Appliance-6.0.0.30300-7037817-patch-TP.iso
• VMware-vCenter-Server-Appliance-6.0.0.30300-7037817-patch-FP.iso

Скачать vCenter 6.0 u3c можно по этой ссылке.

Дункан написал интересный пост про работу кластера откзоустойчивых хранилищ VMware vSAN совместно с технологией отказоустойчивости хост-серверов VMware HA. Суть проблемы заключается в том, что кластер vSAN, как правило, организуется на базе обычной Ethernet-сети, которая не подразумевает наличие дополнительных хранилищ Heartbeat Datastores (на которых создаются специальные локи на файлы со стороны хостов).

А эти хранилища очень важны для кластеров VMware HA, так как по ним через сеть хранения данных (например, общие FC-хранилища) он определяет остались ли хосты работающими в случае отказа/разделения сети передачи данных, а также продолжают ли там работать виртуальные машины.

Если таких хранилищ в кластере vSAN нет (а их, скорее всего, нет), то могут возникнуть проблемы вот какого плана. В случае изоляции хоста (например, разделилась сеть или отказали порты коммутатора), сам кластер vSAN обрабатывает ситуацию корректно, но виртуальные машины продолжают быть запущены на изолированных хостах. В то же время, главная часть кластера HA (та, в которой остался Master) имеет копии этих же виртуальных машин и может запустить их, подумав, что они уже недоступны вместе с хостами, а это уже может привести к ситуации с дубликатами машин и их MAC/IP адресов, когда сеть восстановится.

Чтобы этого не происходило, на хостах ESXi нужно настроить реакцию на событие изоляции (isolation response). Хост декларирует себя изолированным при совместном наступлении двух событий:

• Он не получает коммуникации от хоста Master
• Он не может достучаться до isolation address

Если вы ничего не настраивали дополнительно в кластере HA, то ваш isolation address находится в Management network, которая и есть та сеть, в которой работает кластер vSAN (и которая, как мы помним, упала). И, на самом деле, это хорошо! Ведь если бы этот адрес продолжал быть доступен, то изолированная часть кластера не считала бы себя изолированной и случился бы split-brain с появлением возможных дубликатов машин.

Из этой всей ситуации можно сделать 3 вывода:

• Используйте отдельные от кластера vSAN хранилища Heartbeat Datastores, работающие в другой сети или по другим интерфейсам (если это возможно, конечно, в вашей инфраструктуре). Для этого нужно выбрать опцию "Use datastore from only the specified list" в настройках HA и добавить расширенную настройку "das.ignoreInsufficientHbDatastore = true" в advanced HA settings.
• Всегда ставьте действие isolation response в Power Off, чтобы машины выключились в случае изоляции хостов кластера HA, а главная часть кластера могла их перезапустить.
• Делайте isolation address в той же сети, что и основная сеть vSAN (интерфейсы VMkernel хостов), чтобы в случае изоляции хост ESXi считал себя изолированным, а не продолжающим нормально пинговать какой-то сторонний адрес. Для этого можно использовать Switch Virtual Interface (SVI) на физическом коммутаторе (если у вас немаршрутизируемая сеть vSAN).

Ну и напомним тут нашу подробную статью о совместном существовании vSAN и HA.